2022年了,你还在纠结tensorflow还是pytorch吗?

您所在的位置:网站首页 tensorflow cuda111 2022年了,你还在纠结tensorflow还是pytorch吗?

2022年了,你还在纠结tensorflow还是pytorch吗?

#2022年了,你还在纠结tensorflow还是pytorch吗?| 来源: 网络整理| 查看: 265

PyTorch 和 TensorFlow近几年一直是深度学习领域的两大热门框架。PyTorch 和 TensorFlow都拥有丰富的API、广阔的用户群体,目前也都广泛用于学术研究和商业应用。我们在学习工作中到底应该选择哪个,这可能是很多初学者与从业者要问的问题。

今天我们将从以下几点来帮你更好的进行选择。

PyTorchTensorFlow有什么区别如何根据实际选择最适合的框架

我们将从TensorFlow1.X 开始首先仔细介绍这两个框架,然后介绍一些可以帮助您确定哪种选择最适合您的框架的注意事项。

什么是 TensorFlow?

TensorFlow 由 Google 开发并于 2015 年作为开源发布。它源于 Google 的自主机器学习软件,该软件经过重构和优化以用于生产。

“TensorFlow”这个名字描述了你如何组织和执行数据操作。TensorFlow 和 PyTorch 的基本数据结构都是张量。当您使用 TensorFlow 时,您通过构建有状态的流程图对这些张量中的数据执行操作,有点像记住过去事件的流程图。

谁在使用 TensorFlow?

TensorFlow 以生产级深度学习库而闻名。它拥有庞大而活跃的用户群,以及大量用于训练、部署和服务模型的官方和第三方工具和平台。

2016 年 PyTorch 发布后,TensorFlow 的受欢迎程度有所下降。但在 2019 年底,谷歌发布了TensorFlow 2.0,这是一项重大更新,简化了库并使其更加用户友好,重新引起了机器学习社区的兴趣。

代码风格和功能

在 TensorFlow 2.0 之前,TensorFlow 要求您通过调用 API将图手动拼接在一起,构成流程图。然后通过编译模型来传递一组输出张量,并利用session.run()来调用输入张量。

Session 对象在运行时负责对数据流图进行监督,并且是运行数据流图的主要接口。Session拥有并管理Tensorflow运行时的所有资源,一般可以使用python的上下文管理器来使用Session。

在 TensorFlow 2.0 中,您仍然可以通过这种方式构建模型,但使用Eager Execution更容易,这是 Python 通常的工作方式。可立即评估操作,无需构建图:操作会返回具体的值,而不是构建以后再运行的计算图,因此您可以使用 Python 控制流而不是图形控制流来编写代码。

要查看差异,让我们看看如何使用每种方法将两个张量相乘。这是使用旧的 TensorFlow 1.0 方法的示例:

import tensorflow as tf tf.compat.v1.disable_eager_execution() x = tf.compat.v1.placeholder(tf.float32, name = "x") y = tf.compat.v1.placeholder(tf.float32, name = "y") multiply = tf.multiply(x, y) with tf.compat.v1.Session() as session: m = session.run( multiply, feed_dict={x: [[2., 4., 6.]], y: [[1.], [3.], [5.]]} ) print(m) [[ 2. 4. 6.] [ 6. 12. 18.] [10. 20. 30.]]

上面的代码代码使用 TensorFlow 2.x 中的tf.compat API 来访问 TensorFlow 1.x 的方法并禁用 Eager Execution。

首先声明输入张量x并使用tf.compat.v1.placeholder创建张量对象。然后定义要对它们执行的操作。接下来,使用tf.Session对象作为上下文管理器,创建一个容器来封装运行时环境,并通过将带有实际值的feed_dict输入到placeholder. 最后,还是在 session 里面,打印我们的结果。

使用 TensorFlow 2.0 中的 Eager Execution,只需tf.multiply()就可以达到相同的结果:

import tensorflow as tf x = [[2., 4., 6.]] y = [[1.], [3.], [5.]] m = tf.multiply(x, y) 扩展

TensorFlow 拥有庞大且完善的用户群和大量工具来帮助生产机器学习。对于移动开发,它具有适用于JavaScript和 Swift 的API ,并且TensorFlow Lite可以压缩和优化物联网设备的模型。

由于Google 和第三方提供的大量数据、预训练模型等功能,可以快速上手并使用TensorFlow。

许多流行的机器学习算法和数据集都内置在 TensorFlow 中并且可以立即使用。除了内置数据集,您还可以访问Google Research 数据集或使用 Google 的数据集搜索来查找更多数据。

Keras 可以更轻松地启动和运行模型,因此可以在更短的时间内尝试新技术。事实上,Keras 是Kaggle前五名获胜团队中使用最广泛的深度学习框架。

当然,目前tensorflow还有一个缺点是从 TensorFlow 1.x 到 TensorFlow 2.0 的更新改变了太多功能,对于长期使用TensorFlow1.X。升级代码既乏味又容易出错。许多资源(如教程)可能并没有及时的实现tensorflow2.X的更新。

而PyTorch 没有这样向后兼容性问题,这可能是选择它而不是 TensorFlow 的一个原因。

Tensorflow 生态系统

TensorFlow 的 API、扩展和有用工具的一些亮点包括:

TensorFlow Hub,一个可重用机器学习模块的库Model Garden,使用 TensorFlow 高级 API 的官方模型集合Hands-On Machine Learning with Scikit-Learn、Keras 和 TensorFlow,全面介绍使用 TensorFlow 的机器学习什么是PyTorch?

PyTorch 由 Facebook 开发,并于 2016年首次公开发布。它旨在提供类似于 TensorFlow 的生产优化,同时使模型更易于编写。

由于 Python 程序员发现它使用起来非常自然,PyTorch 迅速获得了大量用户,这促使 TensorFlow 团队在 TensorFlow 2.0 中采用了许多 PyTorch 最受欢迎的功能。

谁在使用 PyTorch?

PyTorch 以在研究中的使用比在生产中的使用更广泛而闻名。然而,自从在 TensorFlow 之后的一年发布以来,PyTorch 的专业开发人员使用量急剧增加。

在2020 Stack Overflow Developer Survey最流行的“其他框架,库和工具”报道,专业开发人员中10.4%选择TensorFlow、4.1%选择PyTorch的名单。而在2018年百分比分别为TensorFlow 7.6%和PyTorch只是1.6%。

PyTorch在研究领域中用户较为广泛,像斯坦福大学等都已经用PyTorch来教授深度学习。

代码风格和功能

PyTorch 基于Torch,这是一个用 C 编写的用于进行快速计算的框架。 Torch 具有用于构建模型的Lua包装器。

PyTorch将相同的 C 后端包装在 Python 接口中。但它不仅仅是一个包装器。开发人员从头开始构建它,使 Python 程序员可以轻松编写模型。底层的低级 C 和 C++ 代码针对运行 Python 代码进行了优化。由于这种紧密集成,使得PyTorch具有以下的优点:

更好的内存和优化更合理的错误信息模型结构的细粒度控制更透明的模型行为与 NumPy 更好的兼容性

这意味着我们可以直接在 Python 中编写高度自定义的神经网络组件,而无需使用大量低级函数。

PyTorch 的 Eager execution可以立即动态地实现张量操作,并且tensorflow2.X也参造了这一点,因此两者的 API 看起来很相似。

将NumPy对象转换为张量被写入PyTorch的核心数据结构中。这意味着你可以轻松地来回切换torch.tensor对象和numpy.array对象。

例如,你可以创建两个numpy.array对象,使用 PyTorch 的原生支持torch.from_numpy()将 NumPy 数组转换为张量,然后获取它们的元素乘积:

import torch import numpy as np x = np.array([[2., 4., 6.]]) y = np.array([[1.], [3.], [5.]]) m = torch.mul(torch.from_numpy(x), torch.from_numpy(y)) m.numpy() array([[ 2., 4., 6.], [ 6., 12., 18.], [10., 20., 30.]])

使用torch.tensor.numpy()可以打印出矩阵乘法的结果,可以将一个tensor对象作为一个numpy数组打印出来。

torch和numpy之间最重要的区别是torch类中有不同的方法和属性,比如计算梯度的backward()和CUDA兼容性。

扩展

PyTorch在Torch后端添加了一个c++模块用于自微分。自微分可以实现torch神经网络反向传播时自动计算梯度的功能。

默认情况下,PyTorch使用eager模式计算。所以我们可以在构建神经网络时逐行运行它,这使得调试更容易。它也使一些需要条件判断的神经网络构建成为可能。这种动态执行对于大多数Python程序员来说更加直观。

PyTorch 生态系统

PyTorch 扩展的 API、扩展和有用工具的一些亮点包括:

fast.ai API,可以非常迅速的建立模型TorchServe,AWS 和 Facebook 合作开发的开源模型服务器TorchElastic,使用Kubernetes大规模训练的深度神经网络PyTorch Hub,一个分享前沿模型的活跃社区PyTorch vs TensorFlow

那么到底该如何选择这两种深度学习框架呢?使用哪个库取决于我们自己的编码风格、数据、模型以及我们的最终需求。

代码风格

如果你是Python程序员,那么使用PyTorch会很容易。它就像你期望的那样,开箱即用。

另一方面,TensorFlow比PyTorch支持更多的编码语言,比如c++ API。同样你也可以在JavaScript和Swift中使用TensorFlow。同时Keras中已经封装了很多现成的模块与工具,你可以拿来直接用,非常的方便。

数据与模型

当我们在上手一个项目时,可以了解下这两种框架中是否能找到我们需要的预训练模型,如BERT或DeepDream。同时,可能我们在GitHub上找模型的时候,可以关注下别人是用哪种框架进行模型构建的。并且有些时候,PyTorch和TensorFlow数据处理的库也不尽相同,你可以根据你自己的数据,来选择一个更方便的框架。

目标

我们在选择框架的过程中也要根据自己的最终目标来进行综合考量。

就例如在部署模型时,TensorFlow与Google Cloud紧密集成,PyTorch集成到AWS上的TorchServe中,但TensorFlow的TensorFlow Lite和它的Swift API可以方便帮我们在移动设备上部署模型。

总结

今天我们介绍了PyTorch和TensorFlow的选择,对于刚入门的新手,现在可能推荐PyTorch的人会多一些,但TensorFlow在2.X重大改版之后,感觉对新手也很友好。当然,不论是什么框架,只要选择了,我们就应该认真的学下去,而不是把时间浪费在纠结使用哪个框架上。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3